Relationships between Bloom's taxonomy, judges' estimation of item difficulty and psychometric properties of items from a progress test: a prospective observational study

ABSTRACT BACKGROUND: Progress tests are longitudinal assessments of students' knowledge based on successive tests. Calibration of the test difficulty is challenging, especially because of the tendency of item-writers to overestimate students' performance. The relationships between the levels of Bloom's taxonomy, the ability of test judges to predict the difficulty of test items and the real psychometric properties of test items have been insufficiently studied. OBJECTIVE: To investigate the psychometric properties of items according to their classification in Bloom's taxonomy and judges' estimates, through an adaptation of the Angoff method. DESIGN AND SETTING: Prospective observational study using secondary data from students' performance in a progress test applied to ten medical schools, mainly in the state of São Paulo, Brazil. METHODS: We compared the expected and real difficulty of items used in a progress test. The items were classified according to Bloom's taxonomy. Psychometric properties were assessed based on their taxonomy and fields of knowledge. RESULTS: There was a 54% match between the panel of experts' expectations and the real difficulty of items. Items that were expected to be easy had mean difficulty that was significantly lower than that of items that were expected to be medium (P < 0.05) or difficult (P < 0.01). Items with high-level taxonomy had higher discrimination indices than low-level items (P = 0.026). We did not find any significant differences between the fields in terms of difficulty and discrimination. CONCLUSIONS: Our study demonstrated that items with high-level taxonomy performed better in discrimination indices and that a panel of experts may develop coherent reasoning regarding the difficulty of items.

Teste de Progresso em Consórcios para Todas as Escolas Médicas do Brasil / Consortia of Cross-Institutional Progress Testing for All Medical Schools in Brazil

RESUMO O Teste de Progresso é uma ferramenta de avaliação longitudinal do ganho de conhecimento de estudantes que tem sido aplicada no Brasil há mais de dez anos. O teste situa o estudante em seu processo evolutivo de ensino-aprendizagem e permite à instituição realizar o diagnóstico de suas deficiências ao longo da estrutura curricular. Ele pode ser utilizado pelos colegiados competentes para avaliação de alterações curriculares e avaliações específicas de disciplinas ou módulos de ensino. Com base na experiência de um consórcio de escolas, a Associação Brasileira de Educação Médica (Abem) propôs um projeto que tinha como um de seus objetivos incentivar escolas de todo o País a adotarem o Teste de Progresso como uma de suas ferramentas de avaliação. Reportamos a estratégia adotada para constituir núcleos interinstitucionais de avaliação com Teste de Progresso, bem como os resultados da primeira prova nacional do Teste de Progresso, que contou com a participação de 58 escolas e 23.065 estudantes. A implantação de núcleos interinstitucionais de Teste do Progresso com processos colaborativos de realização da prova representou um avanço para as escolas envolvidas. As escolas iniciaram um processo de colaboração não apenas para o Teste de Progresso, mas também para o intercâmbio de informações e experiências que trocam com base no conhecimento de cada uma. O projeto funcionou como o início de um movimento para que escolas médicas de todas as regiões do País adotem o Teste de Progresso como uma ferramenta de avaliação com potencial para reorientar a formação médica, ao fornecer um diagnóstico de formação em nível individual e institucional.

ABSTRACT Progress Testing has been applied in Brazil for more than ten years. It is a tool for longitudinal evaluation of students' knowledge across levels of training. The test situates the student in his evolutionary teaching-learning process and allows the institution to diagnose its deficiencies throughout the curricular structure. It can be used to evaluate curricular changes and specific assessments of disciplines or teaching modules. From the experience of a consortium of schools, the Brazilian Association of Medical Education (ABEM) proposed a project that aimed to encourage schools throughout the country to adopt Progress Testing as one of its evaluation tools. We report on the strategy adopted to establish interinstitutional evaluation nuclei with Progress Testing, as well as the results of the first national exam, administered by 58 schools to 23,065 students. The implantation of cross-institutional Progress Testing triggered collaborative processes among the schools involved. Schools have begun a collaborative process not only for the Progress Testing, but also for the exchange of information. The project served as the beginning of a movement for medical schools in all regions of the country to adopt Progress Testing as an assessment tool with the potential to reorient medical training by providing information regarding institutional and individual performances.

Teste de Progresso: uma Ferramenta Avaliativa para a Gestão Acadêmica / Progress Test: an Evaluative Tool for Academic Management

Este estudo teve por objetivo averiguar as potencialidades do Teste de Progresso (TP) no auxílio à gestão acadêmica. Foram analisados os desempenhos dos estudantes do curso de Medicina no TP aplicado em 2008 e reaplicado sem modificações em 2011. Os resultados demonstraram que, no TP de 2008, a progressão ocorreu a cada dois anos de curso, e no TP 2011 esta progressão iniciou-se somente a partir da terceira série. Nas áreas de Saúde Coletiva, Clínica Cirúrgica e Áreas Básicas, não houve acúmulo de conhecimentos gradativo desde o início do curso, o que merece reflexões por parte dos gestores do currículo.

This study aimed to investigate the potential of progress testing to help academic management. To this end, the performances of medical students in the Progress Test applied in 2008 and reapplied without modifications in 2011 were analysed. The results showed that in the Progress Test of 2008 progression occurred once every two years of the course and in TP 2011 progression started only from the third year onwards. In the areas of Public Health, Surgery and Basic Sciences there was no gradual accumulation of knowledge since the beginning of the course, which merits reflection on behalf of the curriculum managers.

Indicadores de avaliação do cuidado individual: subsídios para a formação médica orientada por competência / Evaluative indicators of individual care: subsidies for competence-guided medical training

No processo de formação dos profissionais da área da saúde, as DCN orientam a organização de um modelo curricular pautado no desenvolvimento de competência profissional. Foi realizado um estudo descritivo com abordagem qualitativa, desenvolvido por meio de conferência de consenso, com o objetivo de elaborar indicadores para avaliar o processo de ensino-aprendizagem na área de cuidado individual. Uma matriz foi organizada com base nos desempenhos contidos nos manuais de cada série e formatos de avaliação. Em seguida, os avaliadores analisaram esta matriz e a discutiram na conferência de consenso, para a consolidação dos indicadores. A análise dos resultados permitiu olhar para as ações desenvolvidas no curso a partir da compreensão de que, durante essas atividades, os estudantes têm a oportunidade de realizar o cuidado na perspectiva da integralidade, como preconizado no Sistema Único de Saúde e nas DCN. Dessa maneira, foram construídos indicadores relacionados a história clínica, exame físico e raciocínio clínico para o monitoramento do processo de ensino-aprendizagem. No contexto do currículo orientado por competência, esses indicadores podem nortear o processo de planejamento educacional, bem como permitir a participação ativa e a corresponsabilidade dos envolvidos para o alcance de uma aprendizagem significativa, que permita ao futuro profissional a realização de um cuidado qualificado em saúde.

The National Curriculum Guidelines (NCG) recommend a professional competence-based curricular model for health care undergraduate education. A descriptive study with a qualitative approach was conducted through the use of a consensus conference to develop evaluative indicators of the teaching and learning process in the area of individual care. A matrix was organized based on performances obtained from manuals of each year of study and formats of evaluation. The evaluators then analyzed the matrix and discussed it in the consensus conference in order to consolidate the indicators. The analyzed results allowed the activities of the course to be considered based on the understanding that these actions offer students the opportunity to fulfill the comprehensive health care as recommended by the NCG and the Unified Health System. Therefore indicators were constructed related to clinical history, physical examination and clinical reasoning for monitoring the teaching and learning process. In the context of a competence-guided curriculum, these indicators can guide the educational planning, as well as enable active participation and co-responsibility of those involved in order to achieve meaningful learning that will allow the future professional to ensure qualified health care.

Percepção do egresso de enfermagem sobre a contribuição do curso para o exercício do cuidado / Perceptions of nursing alumni regarding the course contribution in providing health care / La percepción de los graduados en enfermería sobre la contribución del curso para el ejercicio del cuidado

O estudo avaliou a formação em enfermagem ancorada na problematização e na aprendizagem baseada em problemas a partir da percepção dos egressos. Trata-se de estudo transversal de natureza ex-post-facto. Os resultados foram analisados na triangulação das abordagens quantitativa e qualitativa e na perspectiva hermenêutica dialética. Na abordagem quantitativa 180 egressos responderam um questionário. Na qualitativa, 14 participaram das entrevistas, que buscaram sentidos relacionados ao cuidado ideal, para construção dos indicadores que revelassem a lógica da avaliação. Esses indicadores nortearam a escolha das questões para triangulação. Os resultados apontaram que 85,1% dos egressos estão inseridos no mercado de trabalho, 92,1% cursaram pós-graduação e 99,1% acreditam apresentar formação necessária ao cuidado ético, humanizado e fundamentado. A análise dos dados aponta para formação comprometida com a construção da autonomia e do conhecimento, bem como articulada aos princípios do Sistema Único de Saúde e do mundo do trabalho em enfermagem.

This present study evaluated nursing education based on problem-solving and learning based on problems originating from alumni's perceptions. This is an ex-post-facto cross-sectional study. Results were analyzed using both quantitative and qualitative approaches triangulation and through dialectical hermeneutics. In the quantitative approach 180 alumni answered a questionnaire. The qualitative approach involved 14 interviews that searched for meanings related to the notion of ideal care, in order to build indicators that would reveal this evaluation logic. These indicators guided the choice of triangulation questions. Results demonstrated that 85.1% of alumni are working in the nursing market, 92.1% have taken a post-graduate course and 99.1% believe they have the education required to deliver ethical, humanized and founded care. Data analysis demonstrates a compromised education as autonomy and knowledge are being built, and articulated to the Single Health System and the world nursing principles.

El estudio objetivó evaluar los resultados de la formación en enfermería anclada en la problematización y en el aprendizaje basado en problemas desde la percepción de los propios egresados. Estudio transversal y de naturaleza ex-post-facto. Los resultados fueron analizados en por la triangulación de métodos cuantitativos y cualitativos y la perspectiva hermenéutica dialéctica. En el abordaje cuantitativo 180 egresados respondieron un cuestionario. En el cualitativo, 14 participaron de entrevistas, relatando sus pensamientos relacionados al cuidado ideal, para la construcción de indicadores que revelasen la lógica de la evaluación. Esos indicaron nortearon las cuestiones para la triangulación. Los resultados mostraron: 85,1% de los graduados están en el mercado laboral, 92,1% asistieron al posgrado y 99,1% creen presentar una formación necesaria al cuidado ético, humanizado y fundamentado. Los datos resaltan una formación comprometida con la construcción de autonomía y conocimiento y articulada a los principios del Sistema Único de Salud y del mundo laboral en enfermería.

A formação médica e a clínica ampliada: resultados de uma experiência brasileira / The medical education and the extended general practice: results of a Brazilian experiment

Trata-se de um estudo qualitativo que faz parte de uma pesquisa de avaliação de um curso de medicina com o uso de metodologias ativas de ensino-aprendizagem, baseada na triangulação de métodos. O objetivo é avaliar resultados relacionados ao conceito de clínica ampliada. As fontes de informação utilizadas no estudo abrangem dezessete entrevistas semiestruturadas com egressos e uma situação que simulava a prática médica, da qual participaram sete egressos e uma paciente simulada. A análise das informações e a produção dos dados baseiam-se no método de interpretação de sentidos, segundo referencial da hermenêutica-dialética. Os resultados apontam aspectos que fundamentam a clínica ampliada, evidenciados em duas temáticas: a relação médico-paciente e abordagem do paciente. Em termos de conclusão, observa-se que o curso de medicina avaliado se aproxima da formação do médico generalista, humanista, crítico e reflexivo, que pode intervir tanto nos diferentes níveis de atenção de saúde quanto no enfoque individual e coletivo. Conclui-se, ainda, que há limites para a efetivação de uma clínica ampliada nos diversos cenários de saúde.

This is a qualitative study that is part of an evaluation research of a medicine course with the use of active teaching-learning methodologies based on the triangulation of methods. The aim is to evaluate the results related to the extended general practice concept. The sources of information used in the study include 17 semi-structured interviews with ex-prisoners and a situation that simulated the medical practice, of which seven ex-prisoners and a simulated patient participated. The analysis of the information and the production of the data were based on the method of interpretation of senses, according to the referential hermeneutic-dialectic system. The results point to aspects that justify the extended general practice, evidenced in two themes: the doctor-patient relationship and the patient approach. In conclusion, it is observed that the evaluated medical course brings together the education of the general, humanist, critical and reflexive doctor that may intervene in the different levels of health attention as well as in the individual and collective approach. It is also concluded that there are limits in operating an extended general practice in diverse health situations.

Cuidado ampliado em Enfermagem / Broad nursing care / El cuidado ampliado en enfermería

O objetivo com este estudo é analisar os princípios de um cuidado ampliado com base na literatura específica e em dados de uma pesquisa com egressos de um curso de enfermagem. A metodologia consiste numa pesquisa de avaliação com uma abordagem qualitativa, baseada em entrevistas semiestruturadas, observação de situações simuladas e elaboração de plano de cuidado, envolvendo egressos de duas turmas, bem como seus gestores e usuários do serviço de saúde. Os resultados mostraram que existem diferenças na amplitude das ações de enfermagem em relação ao processo de cuidar. Os egressos abordaram um cuidado integral, humanizado, com enfoque individual e coletivo, compatível com as competências e habilidades preconizadas nas diretrizes curriculares do curso de enfermagem. A promoção de um cuidado humanizado por parte dos egressos foi valorizada tanto pelos gestores quanto pelos usuários do serviço de saúde. Dentre as conclusões, destaca-se a importância de se superar a conformação individualista, seguindo rumo a esferas coletivas, institucionais e estruturais da intervenção, nas perspectivas de promoção, proteção e recuperação da saúde.

This study aims to analyze the principles of the broad nursing care. It was based on the specific literature and on data collected from a research held by nursing graduates. The study had a qualitative approach and its methodology included semi-structured interviews, observation of simulated situations and the elaboration of a care plan involving graduates, supervisors and health system users. Results show that there are differences in the broadness of the nursing care actions. The nursing graduates provided whole, humanized, collective and individual care with the skills and competences indicated in the nursing course curriculum policies. Both supervisors and health system users appreciated the graduates' humanized care. We conclude that it is important to overcome an individual approach and to emphasize a collective, institutional and structural care intervention to promote, protect and recover health.

El objetivo del presente estudio fue de analizar los principios del cuidado amplio basado en la literatura específica y en datos de una encuesta a egresados de un Curso de Enfermería. La metodología consistió en una encuesta de evaluación con enfoque cualitativo, basada en entrevistas semiestructuradas a egresados de dos grupos, bien como sus gestores y usuarios del servicio de salud. Los resultados mostraron que hay diferencias en la amplitud de las acciones de enfermería con relación al proceso de cuidar. Los egresados se refirieron a un cuidado integral, humanizado, con enfoque individual y colectivo, compatible con las capacidades y habilidades recomendadas en las directrices curriculares del Curso de Enfermería. La promoción del cuidado humanizado por parte de los egresados fue valorizada tanto por los gestores como por los usuarios del servicio de salud. Dentro de las conclusiones se destacan la importancia de superar la conformación individualista, siguiendo el rumbo y las esferas colectivas, institucionales y estructurales de la intervención, dentro de la perspectiva de promover, proteger y recuperar la salud.

A formação médica ancorada na aprendizagem baseada em problema: uma avaliação qualitativa / Medical training grounded in problem-based learning: a qualitative evaluation / La formación médica ancorada en el aprendizaje basado en problema: una valuación cualitativa

Pretendeu-se avaliar os resultados de um curso de medicina ancorado na aprendizagem baseada em problema. A metodologia do estudo baseou-se no desenho de pesquisa de avaliação com abordagem qualitativa, envolvendo entrevistas, elaboração de um plano de cuidados e atividade com paciente simulado. Os dados obtidos foram analisados a partir da perspectiva hermenêutica-dialética. Apesar de ter tido limites, o curso foi avaliado de forma positiva porque, segundo os egressos, proporcionou uma formação humanista, promoveu o aprender a aprender, valorizou a convivência com outros profissionais e integrou teoria com a prática. Os egressos articularam as dimensões biológica, psicológica e social tanto em suas falas quanto em suas ações. Os pacientes consideraram que os egressos eram cuidadosos, respeitando-os e escutando-os, enquanto os gestores dos serviços de saúde reconheceram que a atuação do egresso ia para além do foco da doença.

The aim here was to evaluate the results from a medical course grounded in problem-based learning. The study methodology was based on an investigative evaluation design with a qualitative approach that involved interviews, drawing up a care plan and activities with simulated patients. The data obtained were analyzed from a hermeneutic-dialectic perspective. In spite of the limits of the course, it was assessed positively because, according to previous participants, it provided a humanistic training, promoted learning how to learn, gave value to coexistence with other professionals and integrated theory with practice. The previous participants linked the biological, psychological and social dimensions through both their discourse and their actions. The patients considered that the previous participants were careful, respected them and listened to them, while the health service managers recognized that previous participants' performance went beyond focusing on the illness.

Se trata de valuar los resultados de un curso de medicina ancorado en el aprendizaje basado en problema. La metodología del estudio considera el diseño de pesquisa de valuación con aproximación cualitativa comprendiendo entrevistas, elaboración de un plan de cuidados y actividades con paciente simulado. Los datos obtenidos se analizaron a partir de una perspectiva hermenéutica-dialéctica. Pese a sus límites el curso fue valuado positivamente porque, según los egresados, proporcionó una formación humanista, incentivó el aprender a aprender, dio valor al convivio con otros profesionales e integró la teoría con la práctica. Los egresados articularon las dimensiones biológica, psicológica y social tanto en sus intervenciones orales como en sus acciones. Los pacientes consideraron que los egresados fueron cuidadosos, respetándoles y escuchándoles; mientras los gestores de los servicios de salud reconocieron que la actuación del egresado iba más allá del foco de la enfermedad.